#tool-use agents - AI Papers Daily

Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success

前缀可执行性：评估工具使用代理超越最终成功率

🧭 Agent 工具调用轨迹评估

Oracle AI

提出前缀可执行性评估协议，量化工具调用轨迹每一步的可执行性，揭示仅看最终成功的盲区

📌 工作参考价值（4 点）

在电商客服、导购等工具型 Agent 评估中，不要只统计最终任务成功率；引入 Prefix Executability 指标（TER、FED、AUC-PEC）量化多步工具调用的轨迹可靠性，提前发现“最终成功但中间调用非法”的隐患。
可将显式 pre-execution plan checking 作为工作流校验层：在 Agent 执行 tool call 前检查工具 schema、状态前置条件和数据依赖，能提升可执行前缀生存率且不损失最终成功率，适合嵌入生产级 agent 编排。
用 First-Error Depth 定位首次失败步骤，结合 Recovery Rate 评估 Agent 从早期错误恢复的能力，用于线上故障归因和版本对比。
对订单处理、库存查询、营销活动配置等多轮工具调用场景有直接迁移价值，可在 A/B 测试中作为可靠性辅助指标。

Eval | 2026-10-29 | cs.CL | score 7/10

TRACE：用合成奖励训练因果探索推理智能体

🧭 Agent 诊断推理 + 合成奖励 RL ★ 深度解读

Independent Researchers

simulator-oracle-RL 把隐藏干预变客观奖励，训练广告诊断 Agent，35B FullAttr@1 达 0.757，超前沿闭源基线

📌 工作参考价值（4 点）

在电商/广告诊断场景，可复用 simulator-oracle-RL：先往离线广告数据或 sandbox 注入已知根因（如 BUDGET_CAP、COMPETITIVE_PRESSURE、CREATIVE_FATIGUE），再生成指标观测；隐藏干预直接作为 RL reward，省去人工归因标注和 LLM-as-judge。
归因任务奖励设计值得抄：用 cause correctness 作为门控，driver slice 用 Jaccard 给部分分，再加 binary full-attribution reward；full-attribution 项对多维 audience/placement 切片很关键，2D slice 从 0.00 提升到 0.27，1D 从 0.67 到 0.92。
SFT warm start 价值明显：先用 oracle-filtered 教师轨迹做 SFT，能让 decision-parse rate 从 0.53 到 1.00，工具调用从 22.05 降到 10.75；后续 RL 只需少量额外工具调用就获得 12 个点 FullAttr@1 提升。
可以做一个 oracle verifier，只读 agent 可见数据，检查信号可检测性、信噪比和 confounder 可区分性，过滤掉不可解或太简单的 episode；这种 generation/acceptance 分离适合构造可扩展训练集。

Training | 2026-09-09 | cs.LG | score 8/10